The formalization of existing mathematical proofs is a notoriously difficult process. Despite decades of research on automation and proof assistants, writing formal proofs remains arduous and only accessible to a few experts. While previous studies to automate formalization focused on powerful search algorithms, no attempts were made to take advantage of available informal proofs. In this work, we introduce Draft, Sketch, and Prove (DSP), a method that maps informal proofs to formal proof sketches, and uses the sketches to guide an automated prover by directing its search to easier sub-problems. We investigate two relevant setups where informal proofs are either written by humans or generated by a language model. Our experiments and ablation studies show that large language models are able to produce well-structured formal sketches that follow the same reasoning steps as the informal proofs. Guiding an automated prover with these sketches enhances its performance from 20.9% to 39.3% on a collection of mathematical competition problems.
translated by 谷歌翻译
促使模型表现出令人印象深刻的几次学习能力。在测试时间与单个模型或多个模型的组成一起重复相互作用，进一步扩展了功能。这些组成是概率模型，可以用具有随机变量的图形模型的语言表示，其值是复杂的数据类型，例如字符串。具有控制流和动态结构的情况需要概率编程的技术，这些技术允许以统一语言实施不同的模型结构和推理策略。我们从这个角度正式化了几种现有技术，包括刮擦板 /思想链，验证者，星星，选择 - 推动和工具使用。我们将结果程序称为语言模型级联。
translated by 谷歌翻译
从简短的问题实例推断出较长的实例的能力是推理任务中分布概括的一种重要形式，并且在较长的问题实例很少见的数据集中学习时至关重要。这些包括定理证明，解决定量数学问题以及阅读/总结小说。在本文中，我们进行了仔细的经验研究，以探讨基于变压器的语言模型的长度概括能力。我们首先确定长度泛化任务上的天真固定变压器显示出与模型量表无关的显着泛化缺陷。然后，我们表明，将预处理的大语言模型与SCRATCHPAD提示（要求模型在产生答案之前输出解决方案步骤）相结合，从而巨大的长度概括改进。我们对每种学习方式进行了仔细的失败分析，并确定了常见的错误来源，这些错误来源突出了将语言模型的机会与更长的问题概括的能力。
translated by 谷歌翻译
语言模型在需要自然语言理解的各种任务上取得了非凡的表现。然而，最先进的模型通常在需要定量推理的任务上挣扎，例如在大学一级解决数学，科学和工程问题。为了帮助缩小这一差距，我们介绍了Minerva，Minerva是一种在一般自然语言数据上鉴定的大型语言模型，并进一步培训了技术内容。该模型在不使用外部工具的情况下实现了技术基准测试的最新性能。我们还评估了我们在需要定量推理的物理学，生物学，化学，经济学和其他科学方面的200多个本科生问题上评估我们的模型，并发现该模型可以正确回答其中几乎三分之一。
translated by 谷歌翻译
预训练会产生对各种下游任务有效的表示，但是目前尚不清楚预训练的有效收益必不可少的特性。值得注意的是，最近的工作表明，即使对合成任务进行预训练也可以在下游任务中取得显着增长。在这项工作中，我们进行了三个实验，可以迭代地简化预训练，并表明简化仍然保留了其大部分收益。首先，在先前的工作中，我们对六个下游任务的三种现有合成预训练方法进行系统评估。我们发现最好的合成预训练方法是石灰，平均获得了自然预训练的收益的67美元\％$。其次，令我们惊讶的是，我们发现由设定功能定义的简单且通用的合成任务进行预培训可实现$ 65 \％的好处，几乎是匹配的石灰。第三，我们发现仅使用合成预培训的参数统计数据可以实现$ 39 \％的利益。我们在https://github.com/felixzli/synthetic_pretraining上发布源代码。
translated by 谷歌翻译
复杂的推理问题包含确定良好行动计划所需的计算成本各不相同的状态。利用此属性，我们提出了自适应亚go搜索（ADASUBS），这是一种适应性地调整计划范围的搜索方法。为此，ADASUBS在不同距离上产生了不同的子目标。采用验证机制来迅速滤除无法到达的子目标，从而使人专注于可行的进一步子目标。通过这种方式，ADASUBS受益于计划的效率更长的子目标，以及对较短的计划的良好控制。我们表明，ADASUB在三个复杂的推理任务上大大超过了层次规划算法：Sokoban，The Rubik的Cube和不平等现象证明了基准INT，为INT设定了新的最先进。
translated by 谷歌翻译
我们介绍了块状变压器，该变压器以序列的反复方式应用变压器层，并且相对于序列长度具有线性复杂性。我们的复发单元在训练过程中在代币的块而不是单个令牌上运行，并利用块内并行计算，以便有效利用加速器硬件。单元本身非常简单。它仅仅是一个变压器层：它使用自我注意事项和交叉注意力来有效计算大量状态向量和令牌上的复发函数。我们的设计部分受到LSTM单元的启发，它使用LSTM风格的大门，但它可以将典型的LSTM单元缩放为几个数量级。我们的复发实现在计算时间和参数计数中都具有相同的成本作为传统的变压器层，但是在很长的序列中，语言建模任务中的语言建模任务的困惑极大地改善了。我们的模型比远程变压器XL基线的表现宽大，同时运行的速度是两倍。我们证明了它在PG19（书籍），Arxiv论文和GitHub源代码上的有效性。我们的代码已发布为开源。
translated by 谷歌翻译
AI正在经历范式转变，随着模型的兴起（例如Bert，Dall-E，GPT-3），这些模型经过大规模的数据训练，并且可以适应广泛的下游任务。我们称这些模型基础模型来强调其至关重要但不完整的特征。该报告提供了基础模型的机会和风险的详尽说明，包括其功能（例如语言，愿景，机器人技术，推理，人类互动）和技术原则（例如，模型架构，培训程序，数据，系统，安全，安全性，评估，理论）对其应用（例如法律，医疗保健，教育）和社会影响（例如不平等，滥用，经济和环境影响，法律和道德考虑）。尽管基础模型基于标准的深度学习和转移学习，但它们的规模导致了新的新兴能力，以及它们在许多任务中的有效性都激发了同质化。同质化提供了强大的杠杆作用，但要求谨慎，因为基础模型的缺陷均由下游的所有适应模型继承。尽管即将广泛地部署基础模型，但我们目前对它们的工作方式，失败以及由于其新兴属性的影响而缺乏清晰的了解。为了解决这些问题，我们认为基础模型的许多批判性研究都需要与他们的基本社会技术性质相称。
translated by 谷歌翻译
2020-07-07
命题模型计数或#SAT是计算布尔公式满足分配数量的问题。来自不同应用领域的许多问题，包括许多离散的概率推理问题，可以将#SAT求解器解决的模型计数问题转化为模型计数问题。但是，确切的#sat求解器通常无法扩展到工业规模实例。在本文中，我们提出了Neuro＃，这是一种学习分支启发式方法，以提高特定问题家族中的实例的精确#sat求解器的性能。我们通过实验表明，我们的方法减少了类似分布的持有实例的步骤，并将其推广到同一问题家族的更大实例。它能够在具有截然不同的结构的许多不同问题家族上实现这些结果。除了步骤计数的改进外，Neuro＃还可以在某些问题家族的较大实例上在较大的实例上实现壁式锁定速度的订单，尽管开头查询了模型。
translated by 谷歌翻译
基于决策树（DT）的分类和回归思想，最近提议在总体分类和回归任务中提供更高的性能。以更高的计算复杂性为代价，达到了其性能的改进。在这项工作中，我们研究了两种加速SLM的方法。首先，我们采用粒子群优化（PSO）算法来加快对当前尺寸的线性组合表示的判别尺寸的搜索。线性组合中最佳权重的搜索在计算上很重。它是通过原始SLM中的概率搜索来完成的。 PSO的SLM加速需要减少10-20倍的迭代。其次，我们利用SLM实施中的并行处理。实验结果表明，加速的SLM方法在训练时间中达到577的速度系数，同时保持原始SLM的可比分类/回归性能。
translated by 谷歌翻译